Multimodale Interaktion in virtueller Realität am Beispiel der virtuellen Konstruktion

Systeme der Virtuellen Realität (VR) stellen neue Herausforderungen an die Art und Weise der Systembedienung. Die Übertragung herkömmlicher 2D orientierter WIMP-Schnittstellen (Windows, Icon, Menue, Pointer) erweist sich hier häufig als ungeeignet. In diesem Zusammenhang verfolgt die vorgestellte Arbeit den Ansatz, VR-Interaktionen über natürliche menschliche Kommunikationsmöglichkeiten mit Gestik und Sprache zu realisieren. Zu diesem Ziel wurden Kernkomponenten entwickelt, welche in den Echtzeit-getriebenen Programmfluss von VR Systemen eingebettet sind und Funktionen für die Gestikerkennung und -analyse sowie die multimodale Integration und Auswertung bereitstellen. Diese Komponenten werden in einer Reihe von aktuellen Projekten etwa im Kontext der Virtuellen Konstruktion, der Deixisforschung oder zur Interaktion mit MAX, einem antropomorphen Gegenüber in virtuellen Umgebungen eingesetzt.